Theo lời kể của Nghệ sĩ Nhân dân Thanh Hoa, vào tháng 1 năm 1977, đoàn tàu Thống Nhất nối liền chuyến Nam – Bắc đầu tiên. Bà cùng chồng là nhạc sĩ Phan Lạc Hoa ở đoàn văn công của Tổng cục đường sắt nên đi theo chuyến tàu này để hát. Thời điểm đó đi tàu rất vất vả, cứ hết một ga lại phải đợi đến 3, 4 tiếng mới được đi tiếp. Khi đi đến đèo Hải Vân thì người trưởng tàu tên là Quý kéo một hồi còi rất dài rồi cho dừng tàu, Quý rủ nhạc sĩ Phan Lạc Hoa xuống đi đâu đó nhưng lúc đi về, bà thấy cả hai người mắt đỏ hoe. Khi Thanh Hoa hỏi lí do thì anh Quý bảo người yêu anh ấy đã ngã xuống ở đây khi gỡ mìn để nối đường ray. Do đó mỗi lần qua đèo Hải Vân, anh ấy đều kéo một hồi còi để chào rồi xuống thắp cho chị một nén nhang. Sau đó, Phan Lạc Hoa sáng tác bài "Tàu anh qua núi" để tặng người trưởng tàu tên Quý.[1] Nhạc sĩ Phan Lạc Hoa đã đàn thử cho Thanh Hoa xem giai điệu của ca khúc có nghe được không. Đến 8 giờ sáng hôm sau, ca khúc chính thức được hoàn thành.[2]